ข้ามไปยังเนื้อหา

แท็ก

#LLM evaluation

2 บทความ

งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง
งานวิจัย

งานตรวจสอบ preregistered 52,988 คำขอสรุปว่า "ชื่อโมเดล" ไม่ใช่เครื่องมือวัดที่นิ่ง — ส่งคำขอเดิมทุกไบต์ซ้ำวันถัดมาได้อันดับตรงกันแค่ 0.78 จากเกณฑ์ 0.99 และผู้เขียนบอกเองว่าความรุนแรงส่วนหนึ่งเขาสร้างขึ้นมาเอง

3 ก.ย. 2026 นักวิจัยจาก University of Sheffield และ Cambridge เผยแพร่ผลตรวจสอบแบบลงทะเบียนล่วงหน้าที่ล้มเหลวทั้งสองรอบก่อนได้ทดสอบสมมติฐานจริง — ผู้ตัดสิน LLM บนเอนด์พอยต์ที่ใช้ร่วมกันให้อันดับซ้ำในหน้าต่างเดียวกันตรงกันแค่ Spearman 0.400 และการเปลี่ยนผู้ให้บริการ การรอข้ามวัน หรือการโฮสต์เองก็ไม่ช่วย

· อ่าน 8 นาที
Artificial Analysis เปลี่ยนสูตร Intelligence Index เป็น v4.2 — วันก่อนหน้า GPT-6 Astra เสมอ Sol ที่ 61 คะแนน วันถัดมากลายเป็นนำ 4 คะแนน โดยที่ไม่มีโมเดลไหนเปลี่ยนเลย
เครื่องมือนักพัฒนา

Artificial Analysis เปลี่ยนสูตร Intelligence Index เป็น v4.2 — วันก่อนหน้า GPT-6 Astra เสมอ Sol ที่ 61 คะแนน วันถัดมากลายเป็นนำ 4 คะแนน โดยที่ไม่มีโมเดลไหนเปลี่ยนเลย

4 ก.ย. 2026 Artificial Analysis ปล่อย Intelligence Index v4.2 — ถอด GPQA Diamond ออกเพราะอิ่มตัว เพิ่ม AA-Briefcase และ GDP.pdf และเพิ่มน้ำหนักชุดทดสอบลับเป็น 40% ผลคืออันดับขยับทันทีโดยที่โมเดลไม่ได้เปลี่ยน และตัวเลขที่ไม่มีใครพาดหัวคือผู้นำของ GDP.pdf ได้แค่ 33.2%

· อ่าน 7 นาที